傳統功能性部門的分工方式容易造成資訊孤島,卻又為了企業營運活動而必須合作。純專案組織不用跨部門合作了,不必分享資訊也不必傳承,專案結束連資訊孤島都沒了。
因此,這幾年出現各種 Ops, 而幾乎所有的 Ops 都是為了打破組織間的藩籬,強化合作與傳承,無一例外。甚至包含了 ChatOps 這個 AI 與人的協作。
資料來源:https://developer.ibm.com/articles/all-the-ops-devops-dataops-mlops-and-aiops/
我們正處於資訊專案中「Data Project 資料專案」成分越來越高的過渡階段,因為高層冀求上述的變革循環(當然高層會希望一步到位更好…)。
資料專案是以交付產品化「資料」為目標的專案。資料專案的細節我們後面篇幅再談。總之,資料生產通常都是在業務流程中發生,資料使用者目前常是規劃或決策單位,未來資料使用者可能是企業內所有部門,會更加廣泛地。資料加工或資料產品製造者,則是資料工程師與資料科學家,是新興的 Data Team。
上面描述可以知道「資料專案」常態為跨部門專案,而且可能是任意部門間,很可能這些部門以前從未合作過,沒建立過溝通模式。面對資料專案的新型態挑戰,上述的各種 Ops 不正是跨部門協作與傳承的指引嗎?
我們可以從下圖來看,DataOps 涵蓋最大,把 MLOps 包在其中,而且跟 DevOps 有大幅度的重疊。這是因為 DataOps 原本就是在推進企業應用系統的變革,從 rule-based 向 data-driven 變化。
圖片來源:https://towardsdatascience.com/what-the-ops-are-you-talking-about-518b1b1a2694
DataOps 需要版控?而且有別於軟體版本?是的,我後面會有篇幅會提到 Data Versioning 這項新興技術。
我們發現各種 Ops 都會提到組織與流程,打破藩籬的本質為組織再造。為了讓這個過程是「共好」,而不是「鬥爭」,Data Team 要把溝通能力與領域知識,看得跟技術能力一樣重要,作為資料驅動的領導者。